终于有人把工业数据采集讲明白了
导读：工业物联网感知层作为物理世界与数字世界的桥梁，是数据的第一入口。现实情况下，由于感知层数据来源非常多样，来自各种多源异构设备和系统，因此如何从这些设备和系统中获取数据，是工业物联网面临的第一道门槛。在工业领域，感知即通常所说的工业数据采集。
01 工业数据采集的范围
工业数据采集利用泛在感知技术对多源异构设备和系统、环境、人员等一切要素信息进行采集，并通过一定的接口与协议对采集的数据进行解析。信息可能来自加装的物理传感器，也可能来自装备与系统本身。
《智能制造工程实施指南（2016—2020）》将智能传感与控制装备作为关键技术装备研制重点；针对智能制造提出了“体系架构、互联互通和互操作、现场总线和工业以太网融合、工业传感器网络、工业无线、工业网关通信协议和接口等网络标准”，并指出：“针对智能制造感知、控制、决策和执行过程中面临的数据采集、数据集成、数据计算分析等方面存在的问题，开展信息物理系统的顶层设计。”
这里面蕴含两方面信息：一是工业数据采集是智能制造和工业物联网的基础和先决条件，后续的数据分析处理依赖于前端的感知；二是各种网络标准统一后才能实现设备系统间的互联互通，而多种工业协议并存是目前工业数据采集的现状。
广义上，工业数据采集分为工业现场数据采集和工厂外智能产品/移动装备的数据采集（工业数据采集并不局限于工厂，工厂之外的智慧楼宇、城市管理、物流运输、智能仓储、桥梁隧道和公共交通等都是工业数据采集的应用场景），以及对ERP、MES、APS等传统信息系统的数据采集。
如果按传输介质划分，工业数据采集可分为有线网络数据采集和无线网络数据采集。
02 工业数据采集的特点
工业数据采集具有一些鲜明的特征，在面对具体需求时，不同场景会对技术选型产生影响，例如设备的组网方式、数据传输方式、数据本地化处理、数据汇聚和管理等。
1. 多种工业协议并存
工业领域使用的通信协议有很多，如PROFIBUS、Modbus、CAN、HART、EtherCAT、EthernetIP、Modbus/TCP、PROFINET、OPC UA，以及大量的厂商私有协议。这种状况出现，很大程度上是因为工业软硬件系统存在较强的封闭性和复杂性。
设想在工业现场，不同厂商生产的设备，采用不同的工业协议，要实现所有设备的互联，需要对各种协议做解析并进行数据转换，这是工业物联网存量改造项目开展时最先遇到的问题——想要解决“万国牌”设备的数据采集，耗时又费力。
如果是新建设的工厂，应从最开始的规划阶段考虑车间、厂级和跨地域的企业级工业物联网应用要求，在没有历史包袱的情况下，通过制定标准，综合评估现场的电磁环境抗干扰要求、数据带宽要求、传输距离、实时性、组网时支持的设备节点数量限制、星形或Daisy-Chain网络拓扑、后期扩展性等因素，选择合适的技术路线，并设计好OT与IT互通的接口，这将大大降低数据采集的难度和工作量。
2. 时间序列数据
工业数据采集大多数时候带有时间戳，即数据在什么时刻采集。大量工业数据建模、工业知识组件和算法组件，均以时间序列数据作为输入数据，例如时域分析或频域分析方法，都要求原始数据包含时间维度信息。
工业物联网应用越来越丰富，延伸到了更多的场景下，例如室内定位开始在智慧仓储、无人化工厂中探索应用，无论是基于时间还是基于接收功率强度的定位方式，其定位引擎都要求信号带有时间标签，才能完成定位计算，保证时空信息的准确性和可追溯性。
在搭建工业物联网平台时，应结合时间序列数据的特点，在数据传输、存储、分析方面做针对性的考虑。例如时序数据库（Time Series DataBase，TSDB）专门从时间维度进行设计和优化，数据按时间顺序组织管理。
图3-1所示为典型的时间序列数据，存储于关系型数据库中，当数据规模急剧增大时，关系型数据库的处理能力变得吃紧，需要性能更优的数据库。工业数据和互联网数据存在很大差别，前者通常是结构化的，而后者以非结构化数据为主。
▲图3-1 时间序列数据示例
3. 实时性
工业数据采集的一个很大特点是实时性，包括数据采集的实时性以及数据处理的实时性。例如基于传感器的数据采集，其中一个重要指标为采样率，即每秒采集多少个点。采样率低的如温湿度采集，采样间隔在分钟级；采样率高一些的如振动信号，每秒钟采集几万个点甚至更多，方便后续信号分析处理以获得高阶谐波分量。
有些大的科学装置，例如粒子加速器的束流监测系统，采样率达数兆每秒。采样率越高意味着单位时间数据量越大，如此大的数据量，如果不加处理直接通过网络传输到数据中心或云端，对于网络的带宽要求非常之高，而且如此大的带宽下，很难保证网络传输的可靠性，可能会产生非常大的传输时延。
而部分工业物联网应用，如设备故障诊断、多机器人协作、状态监测等，由于要求在数据采集（感知）、分析、决策执行之间，完成快速闭环，因此对数据的实时处理有着较高的要求。如果将数据上传到云端，云端分析后再绕一圈回来，指导下一步动作，一来一回产生的时延，很多时候将变得不可接受。
上述业务场景将在靠近数据源头的现场对数据进行即时处理，实时分析，提取特征量，然后基于分析的结果进行本地决策，指导下一步动作，同时将分析结果上传到云端，数据量经过本地处理后大大减小了。图3-2所示是实时振动信号状态监测和数据分析。
▲图3-2 实时振动信号状态监测和数据分析
03 工业数据采集的体系结构
工业数据采集体系包括设备接入、协议转换、边缘计算。设备接入是工业数据采集建立物理世界和数字世界连接的起点。设备接入利用有线或无线通信方式，实现工业现场和工厂外智能产品/移动装备的泛在连接，将数据上报到云端。工业数据采集发展了这么多年，存在设备接入的复杂性和多样性。
数据接入后，将对数据进行解析、转换，并通过标准应用层协议如MQTT、HTTP上传到物联网平台。部分工业物联网应用场景，在协议转换后，可能在本地做即时数据分析和预处理，再上传到云端，提升即时性并降低网络带宽压力。
边缘计算近几年发展迅速，大家越来越意识到数据就近处理的优势，无论是实效性还是出于数据安全性考虑，或是网络的可靠性，边缘计算在工业物联网体系中扮演着重要角色，边云协同也逐渐成了共识。
根据硬件载体不同，将设备接入产品分为以下3类，分类并非绝对，不同类别之间的差异，在于其侧重点不同。
1. 通用控制器
第一类是通用控制器，来自工业装备大脑主控，例如可编程逻辑控制器（Programmable Logic Controller，PLC）、微控制单位（MicroController Unit，MCU）等，工业自动化领域存在很多控制和数据采集系统，如分布式控制系统（Distributed Control System，DCS）和数据采集与监视控制系统（Supervisory Control and Data Acquisition，SCADA），它们在承担本职功能的同时，可以作为接入设备使用。
通用控制器通常集成了数字输入输出I/O单元、网络通信单元，以及针对特定应用的选配功能，如模拟量输入单元、模拟量输出单元、计数器单元、运动控制单元等，通过串口或以太网物理接口连接，然后基于现场总线、工业以太网或标准以太网完成数据采集协议的解析，如图3-3所示。
▲图3-3 通用控制器
通用控制器应用于数控机床、激光切割机等各种自动化装备、机器人（如机械臂和移动机器人）、SCADA系统的通信管理机，有些自动化装备拥有专用控制器，采用不同的硬件架构如PowerPC、ARM Cortex等。基于通用控制器的设备接入，完成自动化装备自身数据、工艺过程数据采集。
2. 专用数据采集模块
第二类是专用数据采集模块，采集现场对象的物理信号，传感器将物理信号变换为电信号后，专用数据采集模块通过模拟电路的A/D模数转换器或数字电路将电信号转换为可读的数字量。
例如风力发电机利用力传感器实现风机混凝土应力状态的实时在线监测，为风机混凝土基础承载力的评估提供依据，同时利用加速度传感器采集振动信号，在风力发电系统的运行过程中，实时在线监测振动状况并发送检测信息，根据检测信息有效控制风机运转状态，避免由于共振而造成的结构失效，并对超出幅度阈值的振动进行安全预警。
将力传感器和加速度传感器安装固定于风机上，传感器输出端连接到专用数据采集模块的输入端，专用数据采集模块通过网络将数据上传到本地或远端服务器，进行下一步数据分析和可视化。
专用数据采集模块的形式可能是数据采集板卡、嵌入式数据采集系统等。对于自动化装备或机器人，如果某些关注的数据缺失，无法从其通用控制器直接获取，此时可通过加装传感器，配合专用数据采集模块的方式，完成更多维度的数据采集，这种做法很常见。
3. 智能产品和终端
第三类是智能产品和终端，强调远程无线接入和移动属性。例如通过运营商4G/5G蜂窝网络、Wi-Fi等室内短距离通信，或者低功耗广域网无线连接上报数据。通过无线方式可以采集智能产品和终端的各种指标数据，例如电量、信号强度、功耗、定位、嵌入式传感器数据等。
大部分智能产品和终端在产品定义时直接集成了无线通信能力，手机和可穿戴设备属于典型的例子。当前智能产品越来越丰富，万物互联时代，默认具备远程接入能力，对智能产品使用过程中的各种运行指标进行监测，分析采集的数据，可以指导研发团队更好地改进产品。
例如具有移动属性的自动化装备，如AGV机器人在室内基于Wi-Fi自组网集群，实现AGV之间的通信，草皮收割机在户外作业时的远程监测和控制。有些产品终端本身不具备远程接入能力，可间接通过数传模块（Data Transfer Unit，DTU）或工业网关，实现同样的效果。
工业数据采集关于数据的界定是非常广义的，它可能来自通用控制器运行时的关键指标，或者传感器采集的某个物理量，或者单纯一个身份标识信息，比如RFID标签EPC数据区定义的标签ID、广播报文中携带的唯一MAC地址等，通信双方彼此交换的可能仅仅是简单的身份信息，完成一次确认，无须多余信息，虽然通信双方有能力携带额外信息。
关于作者：胡典钢，资深工业物联网专家，顺丰物联网平台负责人，兼任顺丰集团职业发展评审委员和ZETA联盟工业物联网高级顾问，负责顺丰物联网平台建设及产品化工作。在物联网、边缘计算、工业大数据领域从业10余年，有丰富的实践经验。历任NI公司应用工程师、高级应用工程师、大区销售经理，兼任GSDZone社区专栏作者和海南大学校外专家，NI（中国）首位认证双架构师——LabVIEW架构师和TestStand架构师，主导大型工业自动化测试控制和工业物联网项目的开发工作。2016年受邀撰写专著《TestStand工业自动化测试管理》，广受业界好评，多次重印。
推荐语：这是一本从平台架构、关键技术、应用实践3个维度全面讲解工业物联网如何在生产实践中落地的著作。它是顺丰物联网平台负责人10余年经验的总结，得到了行业里近10位专家的一致推荐。它将帮助企业解决工业物联网推进过程中遇到的OT与IT融合困难、组织协作成本高昂、全局性技术栈选型难把握、项目规模化落地困难风险易低估、数字化转型难聚焦等系列问题。
刷刷视频👇
在公众号对话框输入以下关键词查看更多优质内容！
读书 | 书单 | 干货 | 讲明白 | 神操作 | 手把手大数据 | 云计算 | 数据库 | Python | 爬虫 | 可视化AI | 人工智能 | 机器学习 | 深度学习 | NLP5G | 中台 | 用户画像 | 数学 | 算法 | 数字孪生
据统计，99%的大咖都关注了这个公众号👇